Validez de las reglas de un análisis estadístico implicativo según juicio de expertos

Introducción: una nueva metodología para el empleo del análisis estadístico implicativo contextualizado a las investigaciones médicas de causalidad brinda reglas y meta-reglas que deben corresponderse con la práctica médica, lo cual se desconoce. Objetivo: evaluar la calidad de las reglas derivadas de la aplicación del análisis estadístico implicativo en las investigaciones médicas de causalidad. Métodos: se realizó un estudio observacional con la aplicación de técnicas cualitativas de tipo criterio de expertos. Los 33 expertos de mayor puntuación emitieron su juicio, mediante una escala Likert de cinco puntos, acerca de la frecuencia con que se cumplen en la práctica médica 23 reglas derivadas de la aplicación del análisis estadístico implicativo en tres estudios para la identificación de factores pronósticos en cáncer de mama. Las opiniones se procesaron mediante el método Delphi en dos rondas y se trianguló con la validez racional de estas reglas. Resultados: los expertos consideraron que cerca del 74 % de las reglas se cumplen en la práctica médica siempre o frecuentemente y sólo una regla resultó absurda. En la segunda ronda se trataron las tres reglas en las que no existió un acuerdo perfecto, en la cual se ratificó una regla como absurda y aumentó el nivel de acuerdo. La triangulación permitió encontrar contradicciones literatura-experto que facilitaron la identificación de problemas en la redacción de la interpretación de las reglas. Conclusiones: las reglas evaluadas reflejan, en general, lo que ocurre en la práctica médica y aquellas que resultan absurdas alertan al investigador sobre un posible sesgo de confusión.

Introduction: A new methodology for the use of contextualized statistical implicative analysis in causality medical research provides rules and meta-rules that must correspond to medical practice, which is unknown. Objective: To evaluate the quality of the rules derived from the application of the statistical implicative analysis in causality medical research. Methods: An observational study was carried out applying qualitative techniques based on expert judgement. Using a five-point Likert scale, the 33 experts with the highest score expressed their judgment about the frequency of the fulfilment of the 23 rules derived from the application of the statistical implicative analysis in three studies in order to identify prognostic factors for breast cancer. Opinions were processed using the two-round Delphi method, and the rational validity of these rules was triangulated. Results: The experts considered that about 74% of the rules are always or frequently followed in medical practice; only one rule was absurd. In the second round, the three rules in which there was no perfect agreement were discussed; one rule was ratified as absurd and there was an increase in the level of agreement. The triangulation allowed us to find contradictions between literature and experts, which facilitated the identification of problems in the drafting of the interpretation of the rules. Conclusions: The rules evaluated generally reflect what happens in medical practice and those that are absurd warn the researcher about the possibility of a confusion bias.

Validación de dominios y competencias por grupos focales y juicio de expertos / Validation of domains and competencies by focus groups and expert judgment

Resumen El Consejo Mexicano de Ginecología y Obstetricia certifica a los especialistas para ejercer su especialidad y brindar una atención de alta calidad a las pacientes. En la actualidad, el Consejo está rediseñando el examen de Certificación en Ginecología y Obstetricia orientado a la evaluación de competencias profesionales a partir de las actividades profesionales confiables que permitan identificar los dominios de la competencia médica en un especialista. La competencia es una variedad de habilidades ejercidas a través de múltiples dominios o aspectos del desempeño profesional; sus descriptores requieren que contengan habilidades relevantes, contexto y la etapa o nivel de evaluación. Por su parte, los dominios son un conjunto de competencias clave. Este informe incluye los resultados de la primera validación en México de dominios y competencias para la evaluación de los ginecoobstetras a partir de una metodología cualitativa que comprende una revisión de la bibliografía, grupos focales, análisis de trabajos colegiados y validación por juicio de expertos. Los resultados se presentan divididos por los ocho dominios en los que se trabajó, se mencionan los comentarios más relevantes a discutir por los cuatro grupos focales. Éstos y la validación por expertos permitió reunir comentarios valiosos, coherentes y funcionales para el sistema de evaluación que quiere llevar a cabo el Consejo. Este ejercicio permitirá el posterior desarrollo de la tabla de especificaciones, reactivos o nuevos instrumentos de evaluación coherentes con un sistema de dominios, competencias y actividades profesionales confiables.

Abstract The Mexican Council of Gynecology and Obstetrics certifies specialists to practice their specialty and provide high-quality healthcare to patients. Currently, the Council is redesigning the Gynecology and Obstetrics Certification exam, oriented to the evaluation of professional competencies based on reliable professional activities that allow the identification of domains of a specialist's medical competencies. Competency can be defined as a variety of skills across multiple domains or aspects of professional performance. Its descriptors require to contain relevant skills, context, and the stage or level of assessment. Domains can be described as a set of competencies that are considered essential. This report includes the results of the first validation done in Mexico. The validation of domains and competencies for the evaluation of physicians in the area of Obstetrics and Gynecology is based on a qualitative methodology that includes a literature review, focus groups, analysis of collegiate works, and validation through expert judgment. The obtained results are divided into eight domains that mention the most relevant observations that were discussed by the four focus groups. The focus groups and the validation through expert judgment made it possible to gather valuable, coherent, and functional feedback for the evaluation system that the Council wants to carry out. This method will allow the subsequent development of the table of specifications, items, or new evaluation instruments congruent with a system of domains, competencies, and reliable professional activities.

Validación de instrumento de integración de cuidados en el adulto mayor en la comunidad / Validation of an Integration Instrument for the Care of the Community Elderly

Introducción: El envejecimiento poblacional, movido por cambios demográficos, hace imprescindible el desarrollo de instrumentos de trabajo como estrategias para mejorar la integración de los cuidados de los ancianos a nivel sanitario y social. Objetivo: Validar un instrumento para la integración de los cuidados formales y no formales en el adulto mayor en la comunidad. Métodos: Se realizó la validación del contenido, la evaluación de concordancia y validación de juicio de expertos a un instrumento, mediante consulta a 22 expertos del municipio Santiago de Cuba, Cuba, durante el año 2019, diseñada mediante revisión teórica y metodológica del contenido. Se utilizaron como métodos teóricos: el análisis y síntesis, el sistémico estructurado y la modelación; y como métodos empíricos: la entrevista, la encuesta y los criterios de expertos y estadísticos matemáticos para procesar los datos mediante el IBM SPSS Statistics 21,0. Resultados: A criterio de los expertos el grado de estimación de acuerdo y la validación del contenido del instrumento se comportó por encima del 0,60 por ciento con valor en la escala de bueno y muy bueno, lo que está a favor de la pertinencia del instrumento desde el punto de vista del diseño. Los expertos lo validaron y reconocieron como un instrumento útil para la evaluación de la integración de cuidados en la comunidad. Conclusiones: El instrumento permitió tener una validez buena y una representación adecuada del contenido a través de la apreciación de expertos respecto a la validez del contenido, la evaluación de concordancia y validación de juicio de expertos(AU)

Introduction: Population aging, driven by demographic changes, makes it essential to develop work instruments as strategies to improve integration of care for the elderly at a health and social level. Objective: To validate an instrument for integration of formal and nonformal cares in the community elderly. Methods: Content validation, concordance assessment and expert judgment validation of an instrument were performed by consulting 22 experts from Santiago de Cuba Municipality, Cuba, during 2019. The consultation was designed by means of theoretical and methodological content review. Theoretical methods were used: analysis and synthesis, the structured systemic method and modeling. Empirical methods were used: interview, survey and expert criteria. Statistical mathematical methods were used to process the data using the IBM SPSS Statistics 21.0. Results: According to expert criteria, the degree of estimation of concordance and the validation of the instrument's content was above 0.60 percent, with a value of good and very good on the scale, which is in favor of the instrument's relevance from the point of view of design. The experts validated and recognized it as a useful instrument for assessing the integration of care in the community. Conclusions: The instrument allowed to have a good validation and an adequate representation of the content through expert assessment with respect to the validity of the content, assessment of concordance and validation of expert judgment(AU)

Diseño y validación de los instrumentos cuantitativo y cualitativo 0-6 lme para determinar los factores de riesgo de la interrupción de la lactancia materna exclusiva / Design and validation of the quantitative and qualitative instruments 0-6 lme to determine the risk factors of the interruption of exclusive breastfeeding

La lactancia materna exclusiva (LME) ha sido considerada una práctica saludable, ya que contribuye con nutrientes esenciales para la salud y crecimiento del niño. Desde esta perspectiva se considera necesario disponer de instrumentos de medición como herramientas para el levantamiento de información sobre problemáticas de salud. Por consiguiente, para garantizar la calidad del instrumento, es indispensable que éste sea sometido a un proceso de validación por juicio de expertos. Objetivo: Validar los instrumentos cuantitativo y cualitativo 0-6 LME para establecer los factores de riesgo que determinan la interrupción de la lactancia materna exclusiva. Método: La metodología empleada tuvo un enfoque mixto (cuantitativo.- cualitativo) de corte transversal, exploratorio, descriptivo y de campo. El enfoque cualitativo es fenomenológico e interpretativo. El instrumento cuantitativo se diseñó con respuestas dicotómicas y polinómicas y el instrumento cualitativo fue diseñado con preguntas abiertas para realizar la entrevista a profundidad o saturación. Como responsables de la validación de los instrumentos estuvieron 2 PhD, 1 especialista y 2 investigadores. Resultados: La validación por parte de los expertos determinó para el criterio de pertinencia 93,18 puntos, para el criterio validez 93,07 puntos y para el criterio coherencia 92,67. Del mismo modo fueron obtenidos los resultados para el instrumento cualitativo, el criterio validez 95,73 puntos, para el criterio pertinencia 95,73 y para coherencia 95,73 puntos. Conclusión: se establece que los instrumentos son considerados confiables de acuerdo al juicio de los expertos, por lo tanto, fueron validados y servirán como aporte para obtener los datos requeridos en la investigación científica(AU)

Exclusive breastfeeding (EBF) has been considered a healthy practice, since it contributes essential nutrients for the health and growth of the child. From this perspective, it considered necessary to have measurement instruments as tools for gathering information on health problems. Therefore, to guarantee the quality of the instrument, it is essential to submit these instruments to an expert validation process based on expert judgment. Objective: To validate the quantitative and qualitative instruments 0-6 LME to establish the risk factors that determine the interruption of exclusive breastfeeding. Method: The methodology used had a mixed approach (quantitative-qualitative) of cross-sectional, exploratory, descriptive and field sections. The qualitative approach is phenomenological and interpretive. The quantitative instrument was designed with dichotomous and polynomial responses and the qualitative instrument was designed with open questions to carry out the interview in depth or saturation. Responsible for the validation of the instruments were 2 PhD, 1 specialist and 2 researchers. Results: The validation by the experts determined for the relevance criterion 93.18 points, for the validity criterion 93.07 points and for the coherence criterion 92.67. In the same way, the results obtained for the qualitative instrument, the validity criterion 95.73 points, for the relevance criterion 95.73 and for coherence 95.73 points. Conclusion: it established that the instruments are considered reliable according to the judgment of the experts; therefore, they were validated and will serve as a contribution to obtain the data required in scientific research(AU)

Perfil profesional y experiencia escolar en la validación de categorías observacionales de interacciones en aula / Professional prof le and school experience in the validation of observational categories of classroom interactions / Perf profissional e experiência escolar na validação de categorias observacionais de interacções de sala de aula

RESUMEN Este artículo analiza en qué medida las observaciones realizadas por un grupo de profesionales de la educación, con y sin experiencia en docencia, difieren durante la validación de un sistema de análisis de interacciones en aula entre estudiantes y profesores videograbada. Metodológicamente se optó por un estudio cuantitativo exploratorio y descriptivo, con estudio de caso único. El sistema de análisis propone cinco categorías: intercambios, intervención del profesor, hablante principal, dirección del habla del profesor y estructura de la clase. Para determinar la consistencia y validez de contenido mediante el coeficiente kappa de Cohen, los observadores codificaron una clase de 45 minutos de la asignatura de Lenguaje y Comunicación de Octavo Básico de una escuela particular subvencionada en Santiago de Chile. Los resultados muestran que los niveles de acuerdo de los observadores en torno a las categorías definidas varían de fuerte a débiles. Las diferencias observadas podrían ser explicadas por la formación profesional y la experiencia previa en docencia de los observadores.

ABSTRACT This article analyzes to what extent the observations made by a group of professionals, with and without teaching experience, differ during the validation of a classroom interaction analysis system between videotaped students and teachers. Methodologically, a quantitative exploratory and descriptive study was chosen, with a single case study. The analysis system proposes five categories: exchanges, teacher intervention, main speaker, teacher's speech direction and class structure. To determine content consistency and validity using Cohen's kappa coefficient, observers coded a 45-minute Spanish class from a private subsidized school in Santiago de Chile. The results show that the levels of agreement of the observers around the defined categories vary from strong to weak. The observed differences depend on profesional training and previous classroom work experience.

RESUMO Este artigo analisa até que ponto as observações feitas por um grupo de profissionais da educação, com e sem experiência de ensino, diferem durante a validação de um sistema de análise das interações em sala de aula entre alunos e professores gravados em vídeo. Metodologicamente, foi escolhido um estudo exploratório e descritivo quantitativo, com um único estudo de caso. O sistema de análise propõe cinco categorias: intercâmbios, intervenção do professor; orador principal, direcção da fala do professor e estrutura da turma. Para determinar a consistência e validade do conteúdo por meio do coeficiente kappa de Cohen, os observadores codificaram uma aula de 45 minutos na disciplina de Língua e Comunicação na 8a série em uma escola privada subsidiada em Santiago, Chile. Os resultados mostram que os níveis de concordância dos observadores em torno das categorias definidas variam de fortes a fracos. As diferenças observadas poderiam ser explicadas pela formação profissional dos observadores e pela sua experiência de ensino anterior